Measuring Language Transfer in Robot Policies: Adding Greek to a Cosmos3 Vision-Language-Action Policy
测量机器人策略中的语言迁移：为 Cosmos3 视觉-语言-动作模型添加希腊语
🧭 低资源语言迁移评估与对照实验
Sophea AI, KIEFER SA, Athens, Greece
机器改写指令为 Cosmos3 VLA 添加希腊语，揭示五类误导性评估，证明双语训练与多种子对照的必要性
📌 工作参考价值（4 点）
- 评估低资源语言或新场景能力时，先构建“故意错误指令/随机输入”等保证 null 基线，避免单一指标假阳性；做多语言 query 理解、商品文案生成或多语种 Agent 时，用乱序或错误语言作为底线对照。
- 多种子重复实验是必须的：低资源语言效果随随机种子波动可高达 31.6 点，线上小流量或多轮实验才能区分配方差异；报告应给出跨种子方差而非单次对比。
- 双语混合训练比纯目标语言训练更稳：在电商多语言场景，英文+小语种联合微调通常优于只用小语种数据，且无需改架构。
- 对机器翻译或模板生成的数据有严重过拟合风险：同一指令提供多种措辞（如 7 种 paraphrase）可显著降低对特定翻译风格的过拟合；做多语言 prompt/文案生成时增加措辞多样性。